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STRESZCZENIE: Praca przedstawia algorytm rekonstrukcji 3D scen termalnych w celu korekcji 
emisyjności kierunkowej, który został zaimplementowany w autorskim programie „Vision Plus 
3D”. Wyznaczenie orientacji cyfrowych obrazów wizyjnych i termalnych oraz położenia reje- 
strowanego obiektu w przestrzeni 3D realizuje zastosowana w programie metoda bezpośredniej 
transformacji liniowej DLT (Direct Linear Transformation). Opracowany program „Vision Plus 
3D” obsługuje różne formaty rastrowe. Zapis 1 import danych pomiarowych oraz narzędzi jest 
wykonywany w plikach w formacie XML. Interaktywny, równoczesny pomiar na obrazach cyfro- 
wych punktów i zdefiniowanych obiektów geometrycznych wspomagany jest dodatkowymi funk- 
cjami obsługi oraz algorytmami automatyzującymi pomiar. Aplikacja jest funkcjonalnie powiązana 
z platformą bazowego cyfrowego sytemu wideo-termalnego ,,Vision Plus”, zewnętrzną biblioteką 
„Vision” oraz dodatkowym modułem „Vision Plus Thermal Analyst”. „Vision Plus 3D” jest obiek- 
tową, 32-bitową aplikacją Windows, oprogramowaną w języku Object Pascal przy wykorzystaniu 
pakietu Borland Developer Studio. Opracowany program tworzy nowe możliwości analizy, po- 
miaru oraz zaawansowanego przetwarzania cyfrowych obrazów wizyjnych i termalnych. W pracy 
przedstawiono eksperyment rekonstrukcji 3D sceny termalnej dla powierzchni nachylonej za po- 
mocą programu „Vision Plus 3D”. Na podstawie otrzymanych danych obliczony został kąt między 
wektorem normalnym do zdefiniowanej płaszczyzny obiektu oraz osią optyczną kamery termalnej. 
Wyznaczenie średniej temperatury radiacyjnej oraz korekcję temperatury metodą korekcji emisyj- 
ności kierunkowej w zdefiniowanym obszarze termogramu przeprowadzono w aplikacji „Vision 
Plus Thermal Analyst”. 
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1. WPROWADZENIE 


Metoda korekcji emisyjności kierunkowej (Sawicki et al., 1998; Sawicki et al., 
1999; Więcek et al., 1998) bazuje na analitycznej rekonstrukcji 3D sceny termalnej 
i korekcji temperatury na cyfrowych termogramach ze względu na nachylenie płaszczy- 
zny obiektu w stosunku do płaszczyzny sensora termalnego. Metoda ta została opraco- 
wana w 1998 r. przez zespół w składzie P. Sawicki, R. Stein, S. Zwolenik, B. Więcek 
w ramach projektu badawczego KBN 9T12E01808 i następnie testowana w projekcie 
KBN 4T12E003 26. 

Moduł rekonstrukcji 3D sceny termalnej do korekcji emisyjności kierunkowej za- 
implementowany w dotychczasowej wersji cyfrowego multisensoralnego systemu wideo- 
-termalnego „Vision Plus” (Sawicki, 1999; Sawicki, 2000; Sawicki, Więcek, 1998) okazał 
się w praktyce niedostatecznie funkcjonalny, ze względu na potrzeby współczesnego użyt- 
kownika. Z tego powodu opracowano zupełnie nowy, niezależny program o nazwie „„Vi- 
sion Plus 3D”, który funkcjonalnie powiązany został ze środowiskiem bazowego pakietu 
„Vision Plus”. W trakcie opracowania nowego programu autorzy uwzględnili dotychcza- 
sowe doświadczenia wynikające z użytkowania jego pierwszej wersji oraz współczesną 
wiedzę z zakresu programowania obiektowego. 


2. ALGORYTM POMIARÓW I REKONSTRUKCJI 3D SCEN 
TERMALNYCH DO KOREKCJI EMISYJNOŚCI KIERUNKOWEJ 


Rekonstrukcja trójwymiarowa sceny termalnej polega na wyznaczeniu parametrów 
orientacji sensora termalnego oraz współrzędnych przestrzennych X, Y, Z punktów reje- 
strowanego obiektu w przyjętym układzie współrzędnych. Rozwiązanie analityczne wy- 
konywane jest na podstawie pomiaru co najmniej dwóch obrazów wizyjnych (rejestra- 
cja w zakresie widzialnym aparatem lub kamerą cyfrową) i jednego obrazu termalnego 
(rejestracja w zakresie podczerwieni termalnej kamerą termowizyjną) oraz określonego 
minimum informacji trójwymiarowych o obiekcie. 

Wyznaczenie orientacji zdjęć wizyjnych i termalnych oraz pozycjonowanie 3D 
punktów obiektu realizowane jest metodą przekształcenia rzutowego, tzw. metodą bez- 
pośredniej transformacji liniowej DLT (Direct Linear Transformation) (Luhmann, 2003). 
Dla każdego zdjęcia pomiarowego wyznaczane zostają współczynniki L,+L,, transforma- 
ty DLT i na ich podstawie elementy orientacji wewnętrznej (cy, , Cp, , X, Y'o — Wyrażone 
w pikselach) oraz zewnętrznej (0,, Q,, K; > X, > Yo; > Zo). W drugim etapie rozwiązania 
metodą DLT, na podstawie obliczonych parametrów transformacji, następuje przez prze- 
kształcenie odwrotne estymacja współrzędnych X, Y, Z punktów obiektu. Znajomość 
położenia punktów w przestrzeni sceny 3D pozwala na wyznaczenie kąta nachylenia re- 
jestrowanej płaszczyzny obiektu względem płaszczyzny detektora termalnego. 

Opracowany algorytm rekonstrukcji 3D sceny termalnej (Rys. 1), który stanowi 
sekwencję pomiarów i obliczeń fotogrametrycznych, został zaimplementowany w pro- 
gramie „Vision Plus 3D”. 
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2.1. Korekcja emisyjności kierunkowej 


W przypadku korekcji emisyjności kierunkowej (1) (Sawicki et al., 1998; Sawicki 
et al., 1999; Więcek et al., 1998), na podstawie pomiarów i danych otrzymanych w apli- 
kacji „Vision Plus 3D”, obliczony zostaje w programie „Vision PlusThermal Analyst" kąt 
p między wektorem normalnym do zdefiniowanej płaszczyzny obiektu oraz wektorem 
normalnym do płaszczyzny sensora termalnego (oś optyczna kamery termalnej). 

(O 


©,=—* 
CG (1) 


Następnie wyznaczana jest średnia temperatura radiacyjna oraz korekcja wartości 
temperatury (2) na obszarach termogramu, które są zdefiniowane obiektami geometrycz- 
nymi. 


(2) 


gdzie: 
T,» T, oznaczają odpowiednio temperaturę mierzoną przez kamerę termalną i temperaturę 
otoczenia. 

Algorytm etapu opracowania termowizyjnego w programie „Vision Plus Thermal 
Analyst” przedstawia rysunek 1. 


Management projektu 
Import obrazów wizyjnych Import obrazów termalnych 
(min. 2) (min. 1) 


Analiza i preprocessing Analiza i preprocessing 
Import współrzędnych 
fotopunktów 
Pomiar fotopunktów na 
obrazach 
Wyznaczenie orientacji zdjęć 
(metoda DLT) 

Pomiar fotopunktów Wstawienie i pozycjonowanie 
termalnych fotopunktów termalnych 
Wyznaczenie współrzędnych Wyznaczenie orientacji 
XYZ fotopunktów termalnych termogramu 
Zdefiniowanie i pomiar Wstawienie i pozycjonowanie 
obiektów geometrycznych obiektów geometrycznych 
Wyznaczenie współrzędnych Wyznaczenie wektorów 
XYZ normalnych 
Zapis i eksport danych Zapis, eksport danych 
(plik XML, TXT) (plik XML, TXT) 
Import danych do programu 
"Vision Plus Thermal Analyst" 
Obliczenie kąta między 
wektorami normalnymi do 


Korekcja temperatury na 
termogramie, przetwarzanie, 
Zapis, eksport informacji 
obrazowych, wektorowych i 


Rys. 1. Algorytm rekonstrukcji 3D sceny termalnej oraz korekcji emisyjności kierunkowej. 
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3. CHARAKTERYSTYKA I FUNKCJONALNOŚĆ PROGRAMU VISION 
PLUS 3D 


Opracowany algorytm analitycznego wyznaczenia parametrów orientacji zdjęć wi- 
zyjnych i termalnych oraz określenia położenia rejestrowanych obiektów w przestrzeni 
3D (Rys. 1), w celu dalszej korekcji termogramów ze względu na emisyjność kierunkową, 
oe program „Vision Plus 3D”. Aplikacja posiada następujące cechy użytkowe: 

import i obsługa różnych formatów rastrowych, 

— łączny pomiar cyfrowych obrazów wizyjnych i termalnych, 

— implementacja metody DLT (Direct Linear Transformation), 

— analityczna rekonstrukcja 3D sceny termalnej w celu korekcji emisyjności 

kierunkowej, 

— funkcjonalne powiązanie ze środowiskiem bazowego sytemu „Vision Plus”, 

— powiązanie z zewnętrzną biblioteką ,, Vision” (Sawicki, Zwolenik, 2007), 

— powiązanie z dodatkowym modułem „Vision Plus Thermal Analyst” (Sawic- 

ki, Zwolenik, 2007), 

— _ funkcjonalny i przyjazny interfejs użytkownika. 

Opracowana aplikacja ,, Vision Plus 3D” umożliwia import oraz obsługę formatów ra- 
strowych: BMP, TIFF (mono 8 i 16 bit, kolor), JPEG (łącznie z dodatkowymi informacjami 
typu EXIF, zapisywanymi w pliku przez sensory optyczno-elektroniczne), PNG (mono 8 
i 16 bit, kolor) z kompresją bezstratną, DCR (Kodak), TVV i SIS (system „Vision Plus”). 
Dla większości tych formatów zaimplementowano dodatkowo procedury pozwalające na 
zapis obrazu w danym formacie. W praktyce, ten zestaw plików pozwala na obsługę obra- 
zów w skali szarości i kanałach R, G, B o głębi bitowej większej niż 8 bit/piksel. Strukturę 
dostępnego oprogramowania zmodyfikowano tak, że w przypadku zgodności typu piksela 
możliwy jest bezpośredni zapis informacji obrazowej między różnymi formatami. 

Rozszerzoną funkcjonalność programu „Vision Plus 3D” charakteryzują następują- 
ce podstawowe cechy: 

— funkcja Zoom dla obrazów wizyjnych i termalnych, 

—  interpolacje cyfrowe, 

— _ funkcja Properties, 

— algorytmy automatyzujące tryb pomiaru, 

— importi eksport danych w plikach TXT oraz XML, 

— skróty klawiszowe i aktywny prawy przycisk myszy. 

Obsługę obrazów cyfrowych wspomagają dodatkowe funkcje, m.in.: Zoom (stop- 
niowa i ciągła zmiana powiększenia obrazu), interpolacje cyfrowe (najbliższego sąsiada, 
biliniowa, bikubiczna) oraz Properties (informacje o obrazach cyfrowych oraz obiektach 
geometrycznych). 

Program „Vision Plus 3D” umożliwia na wizyjnych oraz termalnych obrazach 
cyfrowych interaktywny, manualny pomiar punktów i obiektów geometrycznych typu: 
odcinki, linie łamane, wieloboki. Przenoszenie i nakładanie obiektów geometrycznych 
dostosowano pod względem grafiki oraz funkcjonalności do techniki wektorowych po- 
miarów fotogrametrycznych. 

W programie „Vision Plus 3D” zastosowano algorytmy automatyzujące pomiar 
obiektów geometrycznych na obrazach cyfrowych, m.in. przez: 
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— wyznaczanie przybliżonego położenia punktów pomiarowych na kolejnych 

niezorientowanych obrazach, 

— przenoszenie obiektów geometrycznych między obrazami, 

— automatyczne wstawianie obiektów geometrycznych do pozostałych zorien- 

towanych obrazów, 

— pomiar oraz eksport danych pikselowych za pomocą zestawu narzędzi wekto- 

rowych, 

— grupowanie danych definiujących całą scenę pomiarową w ramach pełnych 

projektów. 

W aplikacji „Vision Plus 3D” dane pomiarowe i narzędzia można zapisywać oraz 
importować w plikach w formacie XML. Zastosowanie formatu XML zapewniło wła- 
Sciwe relacje pomiędzy danymi, przenoszenie narzędzi i danych pomiędzy współpracu- 
jącymi programami oraz umożliwiło podgląd danych w przeglądarkach internetowych 
i edycję parametrów przy pomocy właściwego edytora. Dzięki temu rozwiązaniu istotnie 
zwiększono uniwersalność oraz kompatybilność programów pakietu „Vision Plus”. 

Program „Vision Plus 3D” posiada przejrzysty interfejs graficzny użytkownika, 
którego optymalizacja pozwoliła na zmniejszenie pracochłonności edycji pomiarów 
i projektów. Program jest funkcjonalny i przyjazny dla użytkownika dzięki, m.in. zasto- 
sowaniu skrótów klawiszowych i aktywnego prawego przycisku myszy, które znacznie 
przyspieszają pomiar oraz dostęp do większości funkcji i poleceń. 

Opracowany program jest w pełni obiektową, 32-bitową aplikacją Windows. Po- 
szczególne elementy oprogramowania wykonano głównie w języku Object Pascal, przy 
wykorzystaniu pakietu Borland Developer Studio. 


4. OPRACOWANIE TESTOWE 


Testowanie programu „Vision Plus 3D” do trójwymiarowej rekonstrukcji sceny 
termalnej oraz określenie, na podstawie uzyskanych danych, wpływu korekcji emisyjno- 
ści kierunkowej przeprowadzono na podstawie wizyjnych zdjęć cyfrowych i termalnych 
przestrzennego pola testowego. Pole testowe tworzyły równomiernie rozmieszczone sy- 
gnalizowane punkty, w tym fotopunkty i fotopunkty termalne (termalne punkty dostoso- 
wania) oraz obiekt testowy mierzony kamerą termowizyjną. 

Wyznaczenie położenia obiektu i sygnalizowanych fotopunktów termalnych do 
rekonstrukcji 3D sceny termalnej przeprowadzono na podstawie trzech obrazów cyfro- 
wych, które wykonano aparatem typu compact Kodak DC 4800 (3.1 MP). 

Rejestrację termowizyjną obiektu testowego (arkusz blachy z powłoką mineralną, 
o powierzchni ca 0.25 m”), nachylonego pod kątem w = 6.5? (płaszczyzna referencyjna, 
w przybliżeniu równoległa do płaszczyzny detektora termalnego) oraz w kolejnej fazie 
pomiarów, nachylonego pod kątem w = 60°, wykonano kamerą termalną AGEMA 880, 
która była połączona interfejsem PCMCIA z cyfrowym systemem video-termalnym 
„Vision Plus”. 

Parametry rejestracji termowizyjnej wynosiły odpowiednio: zakres spektralny re- 
jestracji 8-12 um, zakres mierzonej temperatury (Range 2) AT = 20.98+23.45°C, śred- 
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nia temperatura otoczenia T, , = 21.0°C (pomiar termometrem elektronicznym). Obiekt 
testowy zarejestrowano w każdym położeniu w sekwencji Real Time, składającej się 
z 16. obrazów, które zapisano w formacie TVV. Ze względu na możliwe szumy kamery 
termowizyjnej obrazy termalne do wyznaczenia emisyjności kątowej należy rejestrować 
w serii min. 4 kolejnych obrazów. 

Badania testowe wykonano zgodnie z opracowanym algorytmem rekonstruk- 
cji scen 3D do korekcji emisyjności kierunkowej (Rys. 1), realizując w programie 
„Vision Plus 3D” pomiar cyfrowych obrazów wizyjnych (Rys. 2, 3) i termalnego (Rys. 4) 
oraz w programie „Vision Plus Thermal Analyst” (Rys. 5) pomiar i przetwarzanie cyfro- 
wego termogramu. 

Korekcję temperatury radiacyjnej (Lillesand et al., 2008) w zdefiniowanym ob- 
szarze, ze względu na kąt p między wektorem normalnym do płaszczyzny obiektu oraz 
wektorem normalnym do płaszczyzny sensora termalnego, przeprowadzono w programie 
„Vision Plus Thermal Analyst”. Korekcja temperatury na powierzchni badanego materia- 
łu wzniosła ca AT, = +0.2°C. Zdolność interpretacyjna termogramów w postaci wieloto- 
nalnej czarno-białej, wizualizowanych i mierzonych w programie ,, Vision Plus Thermal 
Analyst”, została zwiększona przez zastosowanie odpowiednio dobranej palety barw. 

Porównanie średniej temperatury T, pomierzonej na termogramie po korekcji 
(płaszczyzna nachylona, kąt w = 60°) z temperaturą na termogramie referencyjnym 
(płaszczyzna nachylona, kąt œ = 6.59) wykazało skuteczność zastosowanej metody. Śred- 
nie temperatury w obszarze wieloboku różniły się w nieistotny sposób. Wizualna ocena 
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Rys. 2. Okno programu „Vision Plus 3D” z obrazem wizyjnym podczas pomiaru foto- 
punktów, fotopunktów termalnych i zdefiniowanego obiektu. 
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Rys. 3. Okno programu „Vision Plus 3D” z obrazem wizyjnym podczas pomiaru zdefi- 
niowanego obiektu (wielobok po jego automatycznym wstawieniu). 


Rys. 4. Okno programu „Vision Plus 3D” z obrazem termalnym podczas pomiaru 
obiektu (po jego automatycznym wstawieniu). 
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Rys. 5. Okno programu „Vision Plus Thermal Analyst” z termogramem po korekcji 
temperatury w zdefiniowanym obszarze obiektu. 


rozkładu i wartości temperatur potwierdziła ten wniosek. Zmiana rozkładu i położenia 
pikseli o temperaturze ca T = 23°C (wizualizowane w kolorze czerwonym) na termogra- 
mie po korekcji w stosunku do termogramu referencyjnego wynika ze zniekształcenia 
perspektywicznego obrazu termowizyjnego. 

Weryfikację poprawności korekcji emisyjności kierunkowej przeprowadzono 
w programie „Vision Plus Thermal Analyst” na podstawie bezpośrednich pomiarów na 
pierwotnych (nieprzetworzonych) termogramach. Pomierzone średnie temperatury radia- 
cyjne wynosiły odpowiednio T, = 22.80°C (płaszczyzna prawie pionowa, œ = 6.5") oraz 
T, = 22.64°C (płaszczyzna nachylona, œ = 60.07). 


5. WNIOSKI 


Rekonstrukcja trójwymiarowa scen termalnych ma na celu wyznaczenie parametrów 
orientacji sensora termalnego oraz współrzędnych przestrzennych X, Y, Z punktów reje- 
strowanego obiektu w przyjętym układzie współrzędnych. W następnym etapie możliwa 
jest korekcja emisyjności kierunkowej ze względu na nachylenie płaszczyzny obiektu 
w stosunku do płaszczyzny sensora termalnego. 

Algorytm rekonstrukcji 3D scen termalnych w celu korekcji emisyjności kierunko- 
wej zastosowano w autorskiej aplikacji „Vision Plus 3D”. Rozwiązanie analityczne opar- 
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to na zaimplementowanej metodzie bezpośredniej transformacji liniowej DLT (Direct 
Linear Transformation). Program jest funkcjonalnie powiązany i kompatybilny z platfor- 
mą bazowego cyfrowego sytemu wideo-termalnego ,, Vision Plus”, zewnętrzną biblioteką 
„Vision” oraz dodatkowym modułem „Vision Plus Thermal Analyst”. Charakteryzuje się 
uniwersalnością, funkcjonalnością i przyjaznym dla użytkownika interfejsem graficz- 
nym. Jest obiektową, 32-bitową aplikacją Windows, oprogramowaną w języku Object 
Pascal przy wykorzystaniu pakietu Borland Developer Studio. Program „Vision Plus 3D” 
tworzy nowe możliwości analizy, pomiaru oraz zaawansowanego przetwarzania cyfro- 
wych obrazów wizyjnych i termalnych. 

Wykonana rekonstrukcja 3D sceny termalnej badanego obiektu testowego (arkusz 
blachy z powłoką mineralną) potwierdziła funkcjonalność programu „Vision Plus 3D” 
oraz skuteczność korekcji temperatury radiacyjnej dla płaszczyzn nachylonych w stosun- 
ku do płaszczyzny sensora termalnego. 

Metoda korekcji emisyjności kątowej może być zawodna, szczególnie w odniesie- 
niu do materiałów i powierzchni chropowatych o dużej emisyjności, ponieważ w takim 
przypadku emisyjność zależy w niewielkim stopniu od kąta. 
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RECONSTRUCTION OF THERMAL SCENES IN THE AUTHORS’ 
SOFTWARE, VISION PLUS 3D 
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emissivity 

SUMMARY: The paper presents an algorithm for 3D reconstruction of thermal scenes for the 
purposes of directional emissivity correction, which was implemented in the authors’ software 
„Vision Plus 3D”. Determination of the orientation of images (visual and thermal) and the position 
of a recorded object in 3D space is enabled by the Direct Linear Transformation method used in the 
application. ,,Vision Plus 3D” software works with various raster formats. Saving and importing 
of measurement data as well as of tools is executed using XML format files. Interactive, simultaneous 
measurement of points and defined geometrical objects from digital images is supported by additional 
functions and algorithms, which automate the measurement. The application is functionally related 
to the ,,Vision Plus” digital video-thermal basic system platform, the ,,Vision” external library and 
the „Vision Plus Thermal Analyst” additional module. „Vision Plus 3D” is a 32-bit Windows object 
application, programmed in Object Pascal language using the Borland Developer Studio package. 
This software opens new possibilities for analysis, measurement and advanced processing of visual 
and thermal digital images. The paper presents experimental reconstruction of the 3D thermal scene 
of a sloping surface using the ,,Vision Plus 3D” application. The angle between a normal vector 
ofa defined plane and the optical axis of the thermal camera is calculated based on the data received. 
The calculation of average radiant temperature as well as a temperature correction in the defined 
area of the thermal image using the directional emissivity correction method were both carried out 
in „Vision Plus Thermal Analyst” module. 
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